พลเอกพิจิตร เกิดเมื่อวันที่ 6 กรกฎาคม พ.ศ. 2475 ที่อำเภอแปดริ้ว (ปัจจุบันคือ อำเภอเมืองฉะเชิงเทรา) เป็นบุตรคนโตในจำนวน 7 คนของจวน กุลละวณิชย์ และเป็นหลานลุงของพลตำรวจเอกพิชัย กุลละวณิชย์ เมื่อจบการศึกษาจากโรงเรียนไตรมิตรวิทยาลัยและโรงเรียนกรุงเทพคริสเตียนวิทยาลัย จึงสอบเข้าโรงเรียนนายร้อยพระจุลจอมเกล้า รุ่นที่ 2 (จปร. 2)

ขณะที่เรียนอยู่ปีที่ 2 นั้นมีผลการเรียนดีเด่นมาก จึงถูกส่งไปศึกษาต่อที่โรงเรียนนายร้อยเวสต์ปอยต์ สหรัฐอเมริกา สำเร็จการศึกษาจากโรงเรียนนายร้อยเวสต์ปอยต์เท่อปีที่ พ.ศ. 2501 จากนั้นศึกษาต่อที่โรงเรียนทหารราบสหรัฐฯ ฟอร์ดเบนนิ่ง รัฐจอร์เจียในหลักสูตรผู้บังคับหมวด, หลักสูตรจู่โจม RANGER และหลักสูตรโดดร่ม AIRBONE

เมื่อกลับมาได้เริ่มรับราชการครั้งแรกเป็นครูอยู่แผนกวิชาการรบพิเศษและส่งทางอากาศ โรงเรียนทหารราบศูนย์การทหารราบ จังหวัดลพบุรี ทำหน้าที่ฝึกสอนนายทหารและนายสิบในหลักสูตรจู่โจมและโดดร่มหลายรุ่น ในการสอนนักเรียนจู่โจม ระหว่างการฝึกเข้าตี แทงดาบ หรือ เลิกแถว จะกำหนดให้นักเรียนทหาร ร้องคำว่า "เอี้ย" เป็นสัญลักษณ์การคำรามของเสือก่อนการจู่โจม ทำให้ได้รับสมญานามว่า "เสือใหญ่" เช่นเดียวกับสัญลักษณ์ของหน่วยจู่โจม มาตั้งแต่นั้น จึงทำให้ในปัจจุบัน สื่อมวลชนจึงนิยมเรียกชื่อเขาเล่น ๆ ว่า "บิ๊กเสือ"

ระหว่าง พ.ศ. 2504 – พ.ศ. 2505 ศึกษาหลักสูตร ผบ.พัน ที่ฟอร์ดเบนนิ่ง แล้วกลับมาเป็นนายทหารยุทธการและการฝึกของกองพันทางอากาศที่ 1 (ร.31 พัน 3 รอ. ในปัจจุบัน) ซึ่งเป็นกองพันส่งทางอากาศกองพันแรกของกองทัพบกซึ่งอยู่ที่จังหวัดลพบุรี

ปี พ.ศ. 2508 – พ.ศ. 2509 เข้าศึกษาในโรงเรียนเสนาธิการทหารบก

เมื่อศึกษาจบแล้วได้ย้ายไปรับตำแหน่งเป็นหัวหน้ายุทธการและการฝึกศูนย์สงครามพิเศษ จังหวัดลพบุรี จากนั้นได้เดินทางไปราชการรบในสงครามเวียดนาม

ต่อมาได้เลื่อนตำแหน่งขึ้นเป็นรองผู้บังคับการหัวหน้ายุทธการในเวียดนาม (ปฏิบัติการร่วมกับ พลโทชวลิต ยงใจยุทธ ยศในขณะนั้น)

จากนั้นไปปฏิบัติราชการพิเศษในประเทศลาว ตำแหน่งรองผู้บังคับการหน่วยรบพิเศษเฉพาะกิจราทิกุลอยู่ 1 ปี คือระหว่าง พ.ศ. 2514 – พ.ศ. 2515 และเป็นผู้บังคับการหน่วยเดียวกันนี้จนถึงปี พ.ศ. 2517

หลังจากกลับจากราชการพิเศษในประเทศลาว ได้เข้ารับตำแหน่งเป็นผู้ช่วยหัวหน้ากองยุทธการ กรมยุทธการทหารบก

ในเหตุการณ์กบฏ 9 กันยา พ.ศ. 2528 พลเอกพิจิตร ซึ่งขณะนั้นดำรงตำแหน่งแม่ทัพภาคที่ 1 ในยศ พลโท เป็นผู้ประสานจัดเครื่องบินให้แก่ พลเอกมนูญ รูปขจร แกนนำก่อการกบฏ เพื่อเดินทางออกนอกประเทศ[2]

หลังเกษียณอายุราชการแล้ว ได้รับพระกรุณาโปรดเกล้าฯ ให้เป็นองคมนตรีเมื่อวันที่ 13 กรกฎาคม พ.ศ. 2536[3]จนกระทั่งลาออกหลังจากเปลี่ยนรัชสมัยใหม่ และมีปัญหาทางสุขภาพ